Toward Skill-Native LLMs: Skill Entropy for Benchmarking and Training Long-Horizon Reasoning
迈向技能原生LLM：用技能熵衡量与训练长程跨技能推理
🧭 长程多技能推理评估与强化学习训练
Princeton University · Carnegie Mellon University · University of Toronto · University of Illinois Urbana-Champaign · Stanford University
提出技能熵量化技能切换难度，构建Skill^2-Bench基准并设计Skill-Entropy RL训练框架，显著提升LLM长程跨技能推理性能
📌 工作参考价值（4 点）
- Agent 任务难度评估：在电商 Agent 或对话式推荐系统中，多条技能链（意图识别→商品检索→价格计算→个性化推荐→原因解释）可借助技能熵量化任务复杂度，发现模型在哪类技能切换上频繁失败，定向优化。
- RL 训练技巧迁移：Skill-Entropy RL 框架可直接套用到推荐 Agent 的训练，奖励模型不仅输出正确结果，还要正确选择每步使用的技能类型，以此强化长程规划的技能切换能力，避免步骤遗漏或逻辑跳跃。
- 复用训练信号：论文证明技能熵信号可跨数据集复用（如 OpenR1-Math），电商团队可构建内部多技能长链任务数据，用同样方法对自有模型做 RL 微调，无需改动业务模型架构。
- 基准设计思路：可以参照 Skill^2-Bench 构建技能切换的评测集，将不同推荐环节抽象为独立skill，自动检测模型是否按预期顺序调用技能，用于评价 LLM 驱动的推荐系统中的多步推理鲁棒性。